A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware
面向低成本CPU的LLM网页搜索三层缓存架构
🧭 LLM搜索缓存与推理降本
pollinations.ai
用三层缓存复用会话上下文、语义查询与URL嵌入，在单台CPU服务器上实现89.3%命中
📌 工作参考价值（4 点）
- 语义查询缓存对电商Agent很有用：把用户query做embedding后按cosine相似度去重，能拦截大量换说法但同意图的重复请求，直接省掉远程LLM调用成本；阈值需要根据业务容忍度调，电商场景建议搭配query分类或意图识别做二次校验。
- 会话上下文窗口采用Redis热数据+磁盘Huffman压缩冷数据的两级存储，适合商品导购、客服Agent等长会话场景；LRU后台迁移能保持内存占用低（仅1.38MB），同时支持小时/天级恢复会话。
- URL/item embedding缓存可迁移到推荐系统的向量召回：对同一item的图片/描述向量跨会话复用，避免重复embedding计算；在商品库变更不频繁时收益明显。
- 工程实现上证明了单8-vCPU+32GB RAM即可支撑30个worker的低延迟服务，对预算有限的团队是可直接复制的架构基线。